package com.atguigu.gmall.realtime.app.dws;

import com.alibaba.fastjson.JSON;
import com.alibaba.fastjson.JSONObject;
import com.atguigu.gmall.realtime.app.func.DimAsyncFunction;
import com.atguigu.gmall.realtime.beans.TradeSkuOrderBean;
import com.atguigu.gmall.realtime.utils.DateFormatUtil;
import com.atguigu.gmall.realtime.utils.MyClickhouseUtil;
import com.atguigu.gmall.realtime.utils.MyKafkaUtil;
import org.apache.commons.lang3.StringUtils;
import org.apache.flink.api.common.eventtime.SerializableTimestampAssigner;
import org.apache.flink.api.common.eventtime.WatermarkStrategy;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.functions.ReduceFunction;
import org.apache.flink.api.common.state.StateTtlConfig;
import org.apache.flink.api.common.state.ValueState;
import org.apache.flink.api.common.state.ValueStateDescriptor;
import org.apache.flink.api.common.time.Time;
import org.apache.flink.configuration.Configuration;
import org.apache.flink.connector.kafka.source.KafkaSource;
import org.apache.flink.streaming.api.datastream.*;
import org.apache.flink.streaming.api.environment.StreamExecutionEnvironment;
import org.apache.flink.streaming.api.functions.KeyedProcessFunction;
import org.apache.flink.streaming.api.functions.ProcessFunction;
import org.apache.flink.streaming.api.functions.windowing.WindowFunction;
import org.apache.flink.streaming.api.windowing.assigners.TumblingEventTimeWindows;
import org.apache.flink.streaming.api.windowing.windows.TimeWindow;
import org.apache.flink.util.Collector;

import java.math.BigDecimal;
import java.time.Duration;
import java.util.concurrent.TimeUnit;

/**
 * @author Felix
 * @date 2023/3/20
 * sku下单聚合统计
 *      维度：sku
 *      度量：原始金额、实付金额、优惠券减免金额、活动减免金额
 * 需要启动的进程
 *      zk、kafka、maxwell、hdfs、hbase、redis、clickhouse、DwdTradeOrderDetail、DwsTradeSkuOrderWindow
 * 开发流程
 *      基本环境准备
 *      检查点设置
 *      从kafka的下单事实表主题中读取数据
 *      过滤空消息并转换数据类型    jsonStr->jsonObj
 *      按照唯一键(orderDetailId)进行分组
 *      去重
 *          为什么会产生重复数据以及空消息？
 *          因为我们是从dwd的下单事实表中读取数据，下单事实表是由订单明细、订单、订单明细活动以及订单明细优惠券和字典表
 *          关联得到的，在和订单明细活动以及订单明细优惠券关联的时候，使用的是左外连接，如果左表数据先到，会出现如下情况
 *          左表  null    +I
 *          左表  null    -D
 *          左表  右表    +I
 *          这样的动态表数据发送到kafka主题中的话，kafka主题会接收到如下消息
 *          左表  null
 *          null
 *          左表  右表
 *          对于空消息的处理：如果我们使用的kafka连接器从主题中读取数据，会直接将空消息过滤掉
 *          如果使用的API的方式从主题中读取数据，需要自定义反序列化方法，处理空消息，并进行过滤
 *          去重方案1：状态 + 定时器
 *              当第一条数据到来的时候，将其放到状态中，并注册一个5s之后执行的定时器；
 *              当第二条数据来的时候，判断状态中是否存在数据，如果存在，会对状态中的数据的join时间和当前数据join时间
 *              进行比较，将时间大的放到状态中
 *              当定时器被触发的时候，将状态中的数据向下游传递
 *              不足：不管是否出现重复，都需要延迟5s才会向下游传递，影响时效性
 *          去重方案2：状态 + 抵消
 *              当第一条数据到来的时候，将其放到状态中，并直接传递到下游
 *              当第二条数据来的时候，判断状态中是否存在数据，如果存在，说明数据出现重复了，将状态中存在的这条数据
 *              影响到度量值的字段进行取反，并传递到下游，相当于对第一条数据进行了抵消
 *              在将第二条数据传递到下游
 *      再次进行类型转换，将流中的jsonObj封装为统计的实体类对象
 *      指定Watermark以及提取事件时间字段
 *      按照统计的维度skuid分组
 *      开窗
 *      聚合计算
 *      维度关联
 *          基本维度关联实现
 *              PhoenixUtil - List<T> queryList(String sql,Class<T> clz)
 *              DimUtil     - JSONObject getDimInfoNoCache(String tableName,Tuple2...params)
 *              ds.map()
 *          优化1：旁路缓存
 *              思路：先从缓存中查询维度，如果缓存中找到了要关联的维度，直接将其作为方法的返回值进行返回(缓存命中)，
 *                  如果在缓存中没有找到要关联的维度，再发送请求到Phoenix表中去查询，并将查询的结果放到缓存中缓存
 *                  起来，方便下次查询。
 *              缓存产品选型：
 *                  状态          性能很好    维护性差
 *                  Redis        性能也不错   维护性好       √
 *              Redis相关的设置:
 *                  key:    dim:维度表表名:主键值1_主键值2
 *                  type:   String
 *                  expire: 1day
 *              注意：如果维度数据发生了变化，需要将缓存中的数据清除掉
 *          优化2：异步IO
 *              为什么要使用异步IO?
 *                  要想提升对流中数据的处理能力，可以调大并行度，但是调大并行度意味着需要更多的硬件资源，不可能无限制
 *                  的进行提升，所以需要在硬件资源有限的情况下，提升单个并行度的处理能力。
 *                  默认情况下，如果使用map算子对流中数据进行处理，在单个并行度上，使用的同步的处理方式，处理完第一个
 *                  元素后，再处理下一个元素，如果是和外部系统进行交互的话，性能比较低，影响整个实时计算的时效性。
 *              如果发送异步请求？
 *                  AsyncDataStream.[un]orderedWait(
 *                      流,
 *                      如果发送异步请求 implements AsyncFunction,
 *                      超时时间,
 *                      时间单位
 *                  )
 *                  封装了线程池工具类：双重校验锁解决单例设计模式懒汉式线程安全问题
 *                  class DimAsyncFunction extends RichAsyncFunction{
 *                      open:获取线程池对象
 *                      asyncInvoke:
 *                          开启线程
 *                          根据流中对象获取要关联的维度的主键----抽象
 *                          根据维度的主键查询出维度对象
 *                          将维度对象相关的维度属性补充到流中对象上----抽象
 *                          将关联后的流中对象向下游传递
 *                  }
 *              模板方法设计模式：在父类中定义完成某一个功能的核心算法的骨架(步骤)，将某些步骤的具体实现延迟到子类中去完成
 *                      在不改变父类核心算法骨架的前提下 ，每一个子类都可以有自己不同的实现。
 */
public class DwsTradeSkuOrderWindow {
    public static void main(String[] args) throws Exception {
        //TODO 1.基本环境准备
        //1.1 指定流处理环境
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
        //1.2 设置并行度
        env.setParallelism(4);
        /*
        //TODO 2.检查点相关的设置
        //2.1 开启检查点
        env.enableCheckpointing(5000L, CheckpointingMode.EXACTLY_ONCE);
        //2.2 设置检查点超时时间
        env.getCheckpointConfig().setCheckpointTimeout(60000L);
        //2.3 设置job取消后，检查点是否保留
        env.getCheckpointConfig().setExternalizedCheckpointCleanup(CheckpointConfig.ExternalizedCheckpointCleanup.RETAIN_ON_CANCELLATION);
        //2.4 设置两个检查点之间最小的时间间隔
        env.getCheckpointConfig().setMinPauseBetweenCheckpoints(2000L);
        //2.5 设置重启策略
        env.setRestartStrategy(RestartStrategies.failureRateRestart(3, Time.days(30),Time.seconds(3)));
        //2.6 设置状态后端
        env.setStateBackend(new HashMapStateBackend());
        env.getCheckpointConfig().setCheckpointStorage("hdfs://hadoop202:8020/gmall/ck");
        //2.7 设置操作hadoop的用户
        System.setProperty("HADOOP_USER_NAME","atguigu");
        */
        //TODO 3.从kafka的下单事实表中读取数据
        //3.1 声明消费的主题以及消费者组
        String topic = "dwd_trade_order_detail";
        String groupId = "dws_trade_sku_order_group";
        //3.2 创建消费者对象
        KafkaSource<String> kafkaSource = MyKafkaUtil.getKafkaSource(topic, groupId);
        //3.3 消费数据 封装为流
        DataStreamSource<String> kafkaStrDS
            = env.fromSource(kafkaSource, WatermarkStrategy.noWatermarks(), "kafkaSource");

        //TODO 4.过滤空消息 并对读取到的数据进行类型转换   jsonStr->jsonObj
        SingleOutputStreamOperator<JSONObject> filterDS = kafkaStrDS.process(
            new ProcessFunction<String, JSONObject>() {
                @Override
                public void processElement(String jsonStr, Context ctx, Collector<JSONObject> out) throws Exception {
                    if (jsonStr != null) {
                        JSONObject jsonObj = JSON.parseObject(jsonStr);
                        out.collect(jsonObj);
                    }
                }
            }
        );
        // {"create_time":"2023-03-08 10:43:55","sku_num":"3","activity_rule_id":"6",
        // "split_original_amount":"387.0000","split_coupon_amount":"50.0","sku_id":"27",
        // "source_type":"2401","date_id":"2023-03-08","source_type_name":"用户查询",
        // "coupon_id":"3","user_id":"57","province_id":"11","activity_id":"3",
        // "sku_name":"索芙特i-Softto ","id":"289","order_id":"133","split_activity_amount":"77.0",
        // "split_total_amount":"260.0","ts":"1679280235"}
        //filterDS.print(">>>");
        //TODO 5.按照唯一键(订单明细的id)进行分组    目的：去重
        KeyedStream<JSONObject, String> orderDetailIdKeyedDS
            = filterDS.keyBy(jsonObj -> jsonObj.getString("id"));
        //TODO 6.去重
        /*
        //6.1 方案1：状态 + 定时器
        SingleOutputStreamOperator<JSONObject> distinctDS = orderDetailIdKeyedDS.process(
            new KeyedProcessFunction<String, JSONObject, JSONObject>() {
                private ValueState<JSONObject> lastValueState;

                @Override
                public void open(Configuration parameters) throws Exception {
                    lastValueState
                        = getRuntimeContext().getState(new ValueStateDescriptor<JSONObject>("lastValueState",JSONObject.class));
                }

                @Override
                public void processElement(JSONObject jsonObj, Context ctx, Collector<JSONObject> out) throws Exception {
                    //获取状态中的数据
                    JSONObject lastValue = lastValueState.value();
                    if(lastValue == null){
                        //不重复 第一条数据
                        //将当前这条数据 放到状态中
                        lastValueState.update(jsonObj);
                        //注册5秒后执行的定时器
                        long currentProcessingTime = ctx.timerService().currentProcessingTime();
                        ctx.timerService().registerProcessingTimeTimer(currentProcessingTime + 5000L);
                    }else{
                        //重复  第二条数据
                        //获取状态中数据的聚合时间  伪代码
                        String ts1 = lastValue.getString("聚合时间");
                        //获取当前这条数据的聚合时间
                        String ts2 = jsonObj.getString("聚合时间");
                        if(ts2.compareTo(ts1)>=0){
                            //如果第二条数据的聚合时间比第一条数据的时间大，将第二条数据更新到状态中
                            lastValueState.update(jsonObj);
                        }
                    }
                }

                @Override
                public void onTimer(long timestamp, OnTimerContext ctx, Collector<JSONObject> out) throws Exception {
                    JSONObject jsonObj = lastValueState.value();
                    out.collect(jsonObj);
                    lastValueState.clear();
                }
            }
        );*/
        //6.2 方案2： 状态 + 抵消      将数据中影响到度量的值 进行抵消
        SingleOutputStreamOperator<JSONObject> distictDS = orderDetailIdKeyedDS.process(
            new KeyedProcessFunction<String, JSONObject, JSONObject>() {
                private ValueState<JSONObject> lastValueState;

                @Override
                public void open(Configuration parameters) throws Exception {
                    ValueStateDescriptor<JSONObject> valueStateDescriptor = new ValueStateDescriptor<>("lastValueState", JSONObject.class);
                    valueStateDescriptor.enableTimeToLive(StateTtlConfig.newBuilder(Time.seconds(10)).build());
                    this.lastValueState
                        = getRuntimeContext().getState(valueStateDescriptor);

                }

                @Override
                public void processElement(JSONObject jsonObj, Context ctx, Collector<JSONObject> out) throws Exception {
                    //从状态中获取数据
                    JSONObject lastValue = lastValueState.value();
                    if (lastValue != null) {
                        //重复  需要将状态中影响到度量值的属性进行取反 做抵消操作
                        String splitOriginalAmount = lastValue.getString("split_original_amount");
                        String splitCouponAmount = lastValue.getString("split_coupon_amount");
                        String splitActivityAmount = lastValue.getString("split_activity_amount");
                        String splitTotalAmount = lastValue.getString("split_total_amount");

                        lastValue.put("split_original_amount", "-" + splitOriginalAmount);
                        lastValue.put("split_coupon_amount", "-" + (StringUtils.isEmpty(splitCouponAmount) ? "0.0" : splitCouponAmount));
                        lastValue.put("split_activity_amount", "-" + (StringUtils.isEmpty(splitActivityAmount) ? "0.0" : splitActivityAmount));
                        lastValue.put("split_total_amount", "-" + splitTotalAmount);

                        out.collect(lastValue);
                    }
                    out.collect(jsonObj);
                    lastValueState.update(jsonObj);
                }
            }
        );
        // distictDS.print(">>>");

        //TODO 7.再次转换流中数据类型     jsonObj->实体类对象
        SingleOutputStreamOperator<TradeSkuOrderBean> orderBeanDS = distictDS.map(
            new MapFunction<JSONObject, TradeSkuOrderBean>() {
                @Override
                public TradeSkuOrderBean map(JSONObject jsonObj) throws Exception {
                    String skuId = jsonObj.getString("sku_id");
                    String splitOriginalAmount = jsonObj.getString("split_original_amount");
                    String splitTotalAmount = jsonObj.getString("split_total_amount");
                    String splitCouponAmount = jsonObj.getString("split_coupon_amount");
                    String splitActivityAmount = jsonObj.getString("split_activity_amount");
                    Long ts = jsonObj.getLong("ts") * 1000;
                    TradeSkuOrderBean orderBean = TradeSkuOrderBean.builder()
                        .skuId(skuId)
                        .originalAmount(new BigDecimal(splitOriginalAmount))
                        .orderAmount(new BigDecimal(splitTotalAmount))
                        .couponAmount(new BigDecimal(StringUtils.isEmpty(splitCouponAmount)?"0.0":splitCouponAmount))
                        .activityAmount(new BigDecimal(StringUtils.isEmpty(splitActivityAmount)?"0.0":splitActivityAmount))
                        .ts(ts)
                        .build();
                    return orderBean;
                }
            }
        );
        // orderBeanDS.print(">>>");
        //TODO 8.指定Watermark以及提取事件时间字段
        SingleOutputStreamOperator<TradeSkuOrderBean> withWatermarkDS = orderBeanDS.assignTimestampsAndWatermarks(
            WatermarkStrategy
                .<TradeSkuOrderBean>forBoundedOutOfOrderness(Duration.ofSeconds(3))
                .withTimestampAssigner(
                    new SerializableTimestampAssigner<TradeSkuOrderBean>() {
                        @Override
                        public long extractTimestamp(TradeSkuOrderBean orderBean, long recordTimestamp) {
                            return orderBean.getTs();
                        }
                    }
                )
        );
        //TODO 9.按照sku进行分组      目的：开窗、聚合
        KeyedStream<TradeSkuOrderBean, String> skuIdKeyedDS = withWatermarkDS.keyBy(TradeSkuOrderBean::getSkuId);

        //TODO 10.开窗
        WindowedStream<TradeSkuOrderBean, String, TimeWindow> windowDS
            = skuIdKeyedDS.window(TumblingEventTimeWindows.of(org.apache.flink.streaming.api.windowing.time.Time.seconds(10)));

        //TODO 11.聚合计算
        SingleOutputStreamOperator<TradeSkuOrderBean> reduceDS = windowDS.reduce(
            new ReduceFunction<TradeSkuOrderBean>() {
                @Override
                public TradeSkuOrderBean reduce(TradeSkuOrderBean value1, TradeSkuOrderBean value2) throws Exception {
                    value1.setOriginalAmount(value1.getOriginalAmount().add(value2.getOriginalAmount()));
                    value1.setActivityAmount(value1.getActivityAmount().add(value2.getActivityAmount()));
                    value1.setCouponAmount(value1.getCouponAmount().add(value2.getCouponAmount()));
                    value1.setOrderAmount(value1.getOrderAmount().add(value2.getOrderAmount()));
                    return value1;
                }
            },
            new WindowFunction<TradeSkuOrderBean, TradeSkuOrderBean, String, TimeWindow>() {
                @Override
                public void apply(String groupId, TimeWindow window, Iterable<TradeSkuOrderBean> input, Collector<TradeSkuOrderBean> out) throws Exception {
                    String stt = DateFormatUtil.toYmdHms(window.getStart());
                    String edt = DateFormatUtil.toYmdHms(window.getEnd());
                    for (TradeSkuOrderBean orderBean : input) {
                        orderBean.setStt(stt);
                        orderBean.setEdt(edt);
                        orderBean.setTs(System.currentTimeMillis());
                        out.collect(orderBean);
                    }
                }
            }
        );

        // reduceDS.print(">>>>");
        //TODO 12.关联sku维度
        /*SingleOutputStreamOperator<TradeSkuOrderBean> withSkuInfoDS = reduceDS.map(
            new MapFunction<TradeSkuOrderBean, TradeSkuOrderBean>() {
                @Override
                public TradeSkuOrderBean map(TradeSkuOrderBean orderBean) throws Exception {
                    //根据流中的对象获取要关联的维度的主键
                    String skuId = orderBean.getSkuId();
                    //根据维度的主键获取对应的维度对象
                    //ID,SPU_ID,PRICE,SKU_NAME,SKU_DESC,WEIGHT,TM_ID,CATEGORY3_ID,SKU_DEFAULT_IMG,IS_SALE,CREATE_TIME
                    JSONObject dimJsonObj = DimUtil.getDimInfo("dim_sku_info", skuId);
                    //将维度对象相关的属性补充到流中的对象上
                    orderBean.setSkuName(dimJsonObj.getString("SKU_NAME"));
                    orderBean.setSpuId(dimJsonObj.getString("SPU_ID"));
                    orderBean.setTrademarkId(dimJsonObj.getString("TM_ID"));
                    orderBean.setCategory3Id(dimJsonObj.getString("CATEGORY3_ID"));
                    return orderBean;
                }
            }
        );
        withSkuInfoDS.print(">>>>");*/

        // 将异步I/O操作应用于DataStream作为DataStream的一次转换操作, 启用或者不启用重试。
        SingleOutputStreamOperator<TradeSkuOrderBean> withSkuInfoDS = AsyncDataStream.unorderedWait(
            reduceDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_sku_info") {
                @Override
                public void join(TradeSkuOrderBean orderBean, JSONObject dimJsonObj) {
                    orderBean.setSkuName(dimJsonObj.getString("SKU_NAME"));
                    orderBean.setSpuId(dimJsonObj.getString("SPU_ID"));
                    orderBean.setTrademarkId(dimJsonObj.getString("TM_ID"));
                    orderBean.setCategory3Id(dimJsonObj.getString("CATEGORY3_ID"));
                }

                @Override
                public String getKey(TradeSkuOrderBean orderBean) {
                    return orderBean.getSkuId();
                }
            },
            60,
            TimeUnit.SECONDS
        );

        // withSkuInfoDS.print(">>>>");
        //TODO 13.关联spu维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withSpuInfoDS = AsyncDataStream.unorderedWait(
            withSkuInfoDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_spu_info") {
                @Override
                public void join(TradeSkuOrderBean orderBean, JSONObject dimJsonObj) {
                    orderBean.setSpuName(dimJsonObj.getString("SPU_NAME"));
                }

                @Override
                public String getKey(TradeSkuOrderBean orderBean) {
                    return orderBean.getSpuId();
                }
            },
            60, TimeUnit.SECONDS
        );

        // withSpuInfoDS.print(">>>>");
        //TODO 14.关联tm维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withTmDS = AsyncDataStream.unorderedWait(
            withSpuInfoDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_trademark") {
                @Override
                public void join(TradeSkuOrderBean orderBean, JSONObject dimJsonObj) {
                    orderBean.setTrademarkName(dimJsonObj.getString("TM_NAME"));
                }

                @Override
                public String getKey(TradeSkuOrderBean orderBean) {
                    return orderBean.getTrademarkId();
                }
            },
            60, TimeUnit.SECONDS
        );
        // withTmDS.print(">>>>");
        //TODO 15.关联category3维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withCategory3Stream = AsyncDataStream.unorderedWait(
            withTmDS,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_category3".toUpperCase()) {
                @Override
                public void join(TradeSkuOrderBean javaBean,JSONObject jsonObj)  {
                    javaBean.setCategory3Name(jsonObj.getString("name".toUpperCase()));
                    javaBean.setCategory2Id(jsonObj.getString("category2_id".toUpperCase()));
                }

                @Override
                public String getKey(TradeSkuOrderBean javaBean) {
                    return javaBean.getCategory3Id();
                }
            },
            5 * 60, TimeUnit.SECONDS
        );

        //TODO 16.关联category2维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withCategory2Stream = AsyncDataStream.unorderedWait(
            withCategory3Stream,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_category2".toUpperCase()) {
                @Override
                public void join(TradeSkuOrderBean javaBean,JSONObject jsonObj)  {
                    javaBean.setCategory2Name(jsonObj.getString("name".toUpperCase()));
                    javaBean.setCategory1Id(jsonObj.getString("category1_id".toUpperCase()));
                }

                @Override
                public String getKey(TradeSkuOrderBean javaBean) {
                    return javaBean.getCategory2Id();
                }
            },
            5 * 60, TimeUnit.SECONDS
        );

        //TODO 17.关联category1维度
        SingleOutputStreamOperator<TradeSkuOrderBean> withCategory1Stream = AsyncDataStream.unorderedWait(
            withCategory2Stream,
            new DimAsyncFunction<TradeSkuOrderBean>("dim_base_category1".toUpperCase()) {
                @Override
                public void join(TradeSkuOrderBean javaBean,JSONObject jsonObj)  {
                    javaBean.setCategory1Name(jsonObj.getString("name".toUpperCase()));
                }

                @Override
                public String getKey(TradeSkuOrderBean javaBean) {
                    return javaBean.getCategory1Id();
                }
            },
            5 * 60, TimeUnit.SECONDS
        );

        //TODO 18.将结果写到Clickhouse表中
        withCategory1Stream.print(">>>>");
        withCategory1Stream.addSink(
            MyClickhouseUtil.getSinkFunction("insert into dws_trade_sku_order_window values(?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?,?)")
        );
        env.execute();
    }
}
